Sau chiến tranh, Yakir chỉ huy các đội quân ở Ukraine. Yakir là một cộng sự thân cận của Mikhail Frunze và thuộc nhóm các sĩ quan đã giúp Frunze bắt đầu công cuộc cải cách quân sự. Trong số những nhà cải cách này là Mikhail Tukhachevsky, người đã trở thành bạn của Yakir. Vào tháng 4 năm 1924 Yakir được bổ nhiệm làm người đứng đầu Ban giám đốc chính của Học viện Quân sự Hồng quân và đồng thời là biên tập của một tạp chí quân sự lớn chuyên về phát triển lý thuyết quân sự, Voennyi Vestnik.

Vào tháng 11 năm 1925, sau cái chết của Frunze, Yakir được bổ nhiệm làm chỉ huy Hồng quân tại Quân khu Ucraina. Yakir phối hợp chặt chẽ với Tukhachevsky và các nhà cải cách khác, biến đơn vị của ông thành một phòng thí nghiệm rộng rãi về chiến lược, chiến thuật và kỹ thuật vận hành, hình thành quân đội và trang thiết bị. Trong việc huấn luyện quân đội của mình, Yakir khuyến khích sáng kiến ​​của cán bộ và khả năng đưa ra phán đoán của riêng mình. Năm 1928 và 1929, Yakir học tại Học viện Quân sự cấp cao ở Berlin (vì sự hợp tác quân sự chuyên sâu giữa Liên Xô và Đức). Cách tiếp cận sáng tạo của Yakir đối với nghệ thuật quân sự gây ấn tượng với các đồng nghiệp Đức. Paul von Hindenburg, ca ngợi ông là một trong những chỉ huy quân sự tài năng nhất của thời kỳ sau Thế Chiến thứ I. Theo yêu cầu lặp đi lặp lại từ các sĩ quan Đức, Yakir đã đưa ra những bài giảng đặc biệt quân sự trong cuộc Nội chiến Nga.

Sau khi trở về đơn vị của mình, Yakir tiếp tục các hoạt động cải cách quân sự. Ông là một trong những người sáng tạo ra xe tăng và lực lượng không quân lớn đầu tiên trên thế giới. Không phải là một nhà lý thuyết quân sự theo đúng nghĩa, Yakir ủng hộ mạnh mẽ nỗ lực của Tukhachevsky trong việc phát triển lý thuyết về các hoạt động sâu. Các nhà sử học quân sự trên toàn thế giới vẫn coi lý thuyết này là một sự đổi mới lý thuyết xuất sắc.

Năm 1934, Yakir yêu cầu Tukhachevsky được chỉ định thực hiện các khóa học nâng cao về lý thuyết vận hành cho các sĩ quan cao cấp của Tổng Tham mưu Quân đội và các chỉ huy quân sự. Ông đã làm điều đó mặc dù ông biết về Joseph Stalin không thích Tukhachevsky. Stalin đã chỉ thị cho Kliment Voroshilov, Ủy ban Quốc phòng Nhân dân, khai trừ Yakir khỏi Hội đồng Tư vấn có uy tín của Ủy ban Quốc phòng. Năm 1935, để làm giảm sức mạnh của Yakir, Quân khu Ukraina được chia thành hai dưới quyền chỉ huy của Yakir và Kharkov.

Vào tháng 9 năm 1935, Yakir tiến hành các cuộc diễn tập quân sự lớn tại Kiev, với các lực lượng của Quân đội Kiev và Kharkov. Sự kiện này dẫn đến một số bài viết trên trang bìa của tạp chí chính thức của Quốc hội. Mục đích chính của những thao tác này là kiểm tra lý thuyết về các hoạt động chuyên sâu và công nghệ mới nhất. Tổng cộng có 65.000 binh sĩ, bao gồm 1.888 lính dù, 1.200 xe tăng và 600 máy bay tham gia vào các cuộc diễn tập này. Đây là những cuộc diễn tập đầu tiên trên thế giới sử dụng các hoạt động kết hợp của xe tăng, lực lượng không quân và các đơn vị trên không. Các đại diện của các đội quân lớn trên thế giới đã tham dự các cuộc diễn tập. Tổng thống Pháp Lucien Loizeau đã đưa ra những nhận xét đáng khen về mặt kỹ thuật và đạo đức của Hồng quân.

Wehrmacht (Quân đội Đức) đã sao chép các sáng kiến ​​của Liên Xô để chuẩn bị cho Thế Chiến II. Cuộc cải cách bắt đầu bởi Frunze, và tiếp tục bởi Yakir, Tukhachevsky và nhiều chỉ huy khác, khiến Hồng quân trở thành một trong những đội quân tiên tiến nhất trên thế giới. Trong những năm này, Yakir thường xuyên giảng bài tại Học viện Hồng quân, thông báo cho sinh viên về những phát triển mới nhất trong các vấn đề quân sự; sinh viên của ông coi ông là một diễn giả và người thầy xuất sắc. Năm 1935, ông được thăng lên cấp bậc 1 của Komandarm (Chỉ huy quân đội hạng 1), cấp bậc quân sự cao thứ hai ở Liên Xô vào thời điểm đó.